Long Context Pre-Training with Lighthouse Attention
灯塔注意力：长上下文预训练的高效对称分层注意力方法
🧭 Training ★ 深度解读
Nous Research
对称池化Q/K/V并解耦选择的层次化注意力，训练长上下文时大幅加速且可无损恢复为密集模型
#Hierarchical Attention
1 篇
每日 AI / 电商 / 推荐系统 / Agent 论文精选
1 篇
灯塔注意力：长上下文预训练的高效对称分层注意力方法
Nous Research
对称池化Q/K/V并解耦选择的层次化注意力，训练长上下文时大幅加速且可无损恢复为密集模型